import Crawler from 'crawler'

const c = new Crawler({
    rateLimit: 1000,
    callback:function(err,res,done){
        if(err){
            console.log('出现异常',err);
        }else{
            const $ = res.$;
            console.log($('title').text());
        }

        done();
    }
});

//请求之前指定代理服务器
//这段代码的作用是监听 crawler 实例上的 "schedule" 事件，在每个请求被安排（调度）进入队列时，动态修改该请求的参数，为它指定代理服务器。
c.on('schedule',options=>{
    options.proxy = "http://127.0.0.1:1080";
})

//添加请求队列
c.add({
    url: 'https://www.instagram.com/',
})